信息增益和信息增益率

信息增益偏向取值较多的特征。(极端情况,把序号当做特征)

信息增益率偏向取值较少的特征。

 

C4.5 找出信息增益高于平均水平的特征,然在在这些特征中再选择信息增益率最高的特征。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在sklearn中,计算信息增益率的方法是通过使用决策树模型中的feature_importances_属性来获取特征的重要性程度。在代码中,可以使用clf.feature_importances_来查看特征的重要性程度。\[1\]然而,sklearn库并没有直接提供计算信息增益率的函数。要计算信息增益率,可以使用其他方法,比如先计算信息增益,然后再除以分支度。分支度是一个惩罚项,它考虑了父节点分出的子节点的数量。\[2\]另外,对于连续性变量,可以使用二分法来进行切分,然后计算加权信息熵和信息增益,最终得到增益比例。\[3\] #### 引用[.reference_title] - *1* [机器学习--决策树(sklearn)](https://blog.csdn.net/weixin_50918736/article/details/125616968)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [机器学习——有监督——决策树(分类树)相关原理及sklearn实现(信息熵、基尼系数、信息增益特征重要...](https://blog.csdn.net/huangguohui_123/article/details/105522595)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值